Nesta página, iremos abordar sobre diversos conceitos ligados ao processamento de imagens no domínio espacial, tendo como foco as áreas de: manipulação de imagens e histogramas, serialização de dados, decomposição de imagens, preenchimento de regiões e aplicações de métodos de filtragem.

A primeira linha usa a classe stringstream para criar um string com o nome do arquivo de saída. O nome do arquivo é formado pela concatenação da string "senoide-" com o valor da constante SIDE e a extensão ".yml". Perceba que é possível alterar o arquivo de saída para se amoldar ao tamanho desejado para o lado da imagem. A segunda linha cria uma matriz de float de tamanho SIDE x SIDE e inicializa todos os elementos com o valor 0. O tipo CV_32FC1 representa um dado em OpenCV de 32 bits em ponto flutuante com apenas um canal (o equivalente ao tipo float). A terceira linha cria um objeto da classe FileStorage para armazenar dados em um arquivo. O primeiro parâmetro é o nome do arquivo de saída, o segundo parâmetro é o modo de abertura do arquivo. Neste caso, o modo de abertura é cv::FileStorage::WRITE, o que indica que o arquivo será aberto para escrita, permitindo a gravação da imagem gerada em ponto flutuante.

O laço aninhado percorre todos os elementos da matriz image e atribui a cada elemento um valor de brilho correspondente à amplitude da senóide naquele ponto. Perceba que na imagem gerada a senóide percorre um total de 8 períodos ao longo de cada linha, o que equivale exatamente ao valor da variável FREQUENCIA. O valor da senoide é multiplicado por 127 e somado a 128 para que o valor da senóide fique entre 0 e 255.

O objeto fs recebe a serialização dos dados da matriz image associados com o identificador literal "mat". Durante o processo de deserialização, o identificador literal "mat" será usado para recuperar os dados da matriz image. O método release() fecha o arquivo de saída. As linhas mostradas na Listagem 5 são extraídas do início do arquivo senoide-256.yml que é gerado pelo programa filestorage.cpp. Perceba que o arquivo codificado em YAML é escrito em texto simples, composto por uma sequência de pares chave-valor, onde a chave é o identificador literal "mat" e o valor é a matriz de float serializada.

A mesma imagem é também gravada no formato PNG, para que possa ser visualizada. Para isso, é necessário converter a matriz de float para o tipo CV_8U, que representa um dado em OpenCV de 8 bits sem sinal com apenas um canal (o equivalente ao tipo unsigned char). O método normalize() é usado para normalizar os valores da matriz de float para o intervalo \$0, 255\$. O método convertTo() converte a matriz de float para o tipo CV_8U para que a gravação no arquivo determinado se dê sem intercorrências. Perceba que a classe stringstream foi novamente usada para proceder com a criação do nome do arquivo. A figura Figura 7 mostra a imagem gerada pelo programa

Esteganografia é uma área da criptologia que se ocupa de ocultar uma informação em outra, de sorte a tornar despercebida uma determinada mensagem. Ela pode ser feita no computador usando arquivos de texto, imagens ou vídeos, de modo que apenas o receptor que conhece como a ocultação foi realizada saiba como recuperar a informação inserida. Na esteganografia, usa-se o princípio da ocultação por obscuridade, onde pressupõe-se que apenas o remetente e o destinatário sabem como decifrar o segredo enviado.

Embora esteja um desuso pelos algoritmos modernos de criptografia, ainda é possível se divertir um pouco com isso, combinando esteganografia com imagens digitais. A ideia é esconder uma imagem secreta einformáticam outra (imagem portadora), mas sem alterar significativamente a aparência da portadora.

Descartando-se uma quantidade de bits menos significativos de cada pixel, suficiente para não perder a qualidade visual da imagem, pode-se usar posições dos bits perdidos para esconder informação. Dá-se a essa prática o nome de esteganografia de bits menos significativos, ou Least Significant Bit steganography.

A ideia é esconder a imagem biel.jpg na imagem sushi.jpg, de modo que a imagem resultante não apresente diferenças significativas em relação à imagem portadora.

Para isso, serão preservados os 5 bits mais significativos (MSB) dos pixels da imagem portadora e os 3 bits mais significativos da imagem escondida serão colocados no lugar dos 3 bits menos significativos (LSB) da imagem portadora, como ilustra a Figura 11. É importante observar que ambas as imagem escondida deve ter no máximo o tamanho da imagem portadora.

Na Listagem 6 que segue é mostrado como esconder o conteúdo de uma imagem em outra utilizando operadores de manipulação de bits com OpenCV.

Para compilar e executar o programa esteg-encode.cpp, salve-o juntamente com os arquivo Makefile e a imagens sushi.jpg biel.jpg em um diretório e execute a seguinte seqüência de comandos:

A primeira linha desse trecho faz com que os N bits menos significativos da imagem portadora sejam anulados, onde N é o número de bits que serão usados para esconder a imagem codificada. A segunda linha faz com que os N bits mais significativos da imagem codificada sejam deslocados à direita para a posição dos N bits menos significativos na variável. A terceira linha faz a combinação dos valores das duas imagens, de modo que os N bits menos significativos da imagem portadora sejam substituídos pelos N bits mais significativos da imagem codificada.

A imagem resultante da esteganografia será gravada no arquivo esteganografia.png. O resultado da esteganografia é mostrado na Figura 12. Observe que a imagem resultante não apresenta diferenças visuais significativas em relação à imagem portadora.

A decomposição em planos de bits da imagem resultante da esteganografia mostra que os bits menos significativos da imagem portadora foram substituídos pelos bits mais significativos da imagem codificada, conforme mostra a Figura 13. A imagem do canto superior esquerdo mostra o plano de bits menos significativo, enquanto a imagem do canto inferior direito mostra o plano de bits mais significativo.

A estrutura Point define um ponto na segunda dimensão que permite acesso às suas coordenadas x e y. Ele será usado no exemplo para indicar a semente de preenchimento que é usada pelo algoritmo floodfill.

Independentemente do formato da imagem de entrada, ela será convertida para tons de cinza, uma vez que o exemplo assume essa condição.

Nesta fase tem início o processo de rotulação das várias regiões da imagem. Assumindo que os pixels do objeto possuem tom de cinza igual a 255, o algoritmo percorre toda a imagem, linha após linha, de cima a baixo, da esquerda para direita por pixels que tenham tom igual a 255.

Quando um elemento da matriz é encontrado com tom de cinza igual a 255, o algoritmo floodfill é executado utilizando as coordenadas desse ponto como semente.

A operação do algoritmo floodfill é bem simples: dado um ponto semente, o algoritmo sai procurando os 4- ou 8-vizinhos desse ponto (conforme configuração estabelecida) que possuem a mesma propriedade do ponto semente (geralmente o tom de cinza). Para cada ponto encontrado, muda-se sua propriedade para uma nova propriedade fornecida. Para cada ponto encontrado, também, realiza-se a busca de vizinhança para os seus 4- ou 8-vizinhos que contenham a mesma propriedade da semente. Esse processo é repetido até que não restem mais pontos com propriedade alterada na componente conectada (ou região conectada).

Inicia a contagem de objetos (inicialmente, zero objetos estão presentes)

A contagem funciona percorrendo as linhas e colunas da matriz image em busca de elementos com tom de cinza igual a 255 (pixel de objeto). Quando encontrado, incrementa-se o contador de objeto e executa-se o algoritmo floodfill na imagem utilizando o pixel encontrado como semente. Observe que a região à qual o pixel pertence será rotulada com tom de cinza igual ao número de contagem de objetos atual.

O processo continua até que toda a imagem tenha sido rotulada.

Finalmente, a imagem image é mostrada (já completamente rotulada) e então gravada no arquivo labeling.png. Uma das linhas com o comando imshow é usada apenas para mostrar a imagem com um pouco de realce (para fins de melhor visualização). Como esse efeito funciona será discutido mais adiante.

Fontes de captura de vídeo são acessadas no OpenCV através da classe VideoCapture. Com ela, o usuário pode abrir um fluxo de vídeo oriundo de um arquivo de vídeo, sequência de imagens ou de um dispositivo de captura. Neste último caso, os dispositivos são identificados por um índice que inicia em 0.

As imagens capturadas nesse exemplo serão extraídas de um fluxo de vídeo que será conectado ao objeto cap.

O cálculo do histograma será realizado para cada uma das componentes de cor de forma independente. Logo, a separação das componentes em matrizes independentes será feita no vetor de matrizes planes. Assim, planes[0], planes[1] e planes[2] armazenarão as componentes de cor Vermelho, Verde e Azul, respectivamente.

As três matrizes histR, histG e histB guardarão os histogramas de suas respectivas componentes de cor.

A variável nbins define o tamanho do vetor utilizado para armazenar os histogramas. O tamanho do histograma não precisa ser necessariamente o mesmo do ton de cinza máximo previsto para uma componente de cor (ex: 256 para imagens RGB). É possível especificar a quantidade de faixas (ou bins) que serão usadas para quantificar as ocorrências dos tons.

No exemplo, usa-se um total de 64 faixas para um tom de cinza máximo igual a 255. No cálculo, portanto, as ocorrências de tom de cinza na faixa \$[0,3\$] serão contabilizadas no primeiro elemento do array com o histograma; as ocorrências na faixa \$[4,7\$] contarão no segundo elemento do histograma, e assim por diante.

É preparada na variável histrange a faixa de valores (mínimo e máximo) presentes na imagem cujo histograma será calculado. Essa variável, da forma como é definida, é usada pela função de cálculo de histograma.

Abre-se a conexão com o primeiro dispositivo de captura de vídeo disponível. Os dispositivos são identificados em sequência. Logo, se um sistema dispõe de duas câmeras, por exemplo, a primeira será associada ao identificador "0" e a segunda ao identificador "1".

Uma vez chamado o método open(), verifica-se se o dispositivo de captura está devidamente conectado para proceder com o restante das tarefas.

Neste exemplo, usamos o método set() para atribuir um tamanho aos quadros capturados pela câmera. A escolha foi feita de modo a fixar um tamanho altura x largura igual a 640x480 pixels. Contudo, é importante observar que as resoluções suportadas são dependentes do dispositivo usado para a captura dos quadros, de sorte que essas duas linhas poderão não surtir efeito em alguns casos.

Finalmente, lê-se a largura (width) e altura(height) dos quadros que serão disponíveis pelo dispositivo. A classe VideoCapture possui diversos métodos para ajustar os parâmetros de captura para o dispositivo conectado. Entretanto, na versão do OpenCV em que foram feitos os testes aqui descritos, alguns podem não funcionar corretamente dependendo do tipo de dispositivo utilizado.

Define-se a largura e altura das imagens que serão usadas para desenhar os histogramas de cada uma das componentes de cor. Note que a altura da imagem é igual à metade da largura para fins de exibição. As imagens são criadas com o tipo CV_8UC3, ou seja, com 8 bits por pixel, com tipo de dados unsigned char contendo 3 canais de cor. A cor, nesse caso, servirá apenas para que o histograma seja desenhado na cor respectiva de sua componente.

Em um loop infinito, as imagens são capturadas, quadro a quadro, do dispositivo de entrada conectado e armazenadas no objeto image. Dispositivos de captura normalmente disponibilizam imagens com suporte a cor, ou seja, cada matriz possui normalmente três planos de cor. Logo, os histogramas deverão ser calculados para cada um desses planos, de modo que a função split() faz a separação adequada para que se proceda com o cálculo.

Histogramas hiperdimensionais que contabilizam as ocorrências das combinações R,G e B dos pixels de uma imagem são possíveis de serem calculados. Entretanto, normalmente são usadas matrizes esparças para isso. Considerando imagens com 8 bits por pixel para cada plano de cor, seria necessário uma matriz com 256 x 256 x 256 elementos para guardar o histograma até mesmo de uma imagem pequena. Esse processo é dispendioso e, normalmente, não possui muita utilidade.

Na análise de histograma, portanto, geralmente se avalia cada componente de cor de forma independente.

Os histogramas são então calculados para cada uma das componentes de cor. A função calcHist() do OpenCV recebe, na sequência, os seguintes argumentos:

Cada histograma é normalizado em uma faixa de valores que vai de 0 até a quantidade de linhas da imagem onde este será desenhado. A normalização é feita linearmente entre os valores máximo e mínimo encontrados na componente de cor.

As imagens com os desenhos dos histogramas são então geradas. Inicialmente, todas são preenchidas com 0 (cor preta). Em seguida, os histogramas são desenhados na forma de um gráfico de barras usando a função line().

Finalmente, as imagens dos histogramas são copiadas, uma abaixo da outra, para o canto superior esquerdo da imagem capturada na câmera.

Os filtros usados no exemplo (determinados pelas matrizes de máscara) são de tamanho \$3 \times 3\$ pixels. Cinco tipos de filtros são testados: média, gaussiano, detector de bordas horizontais, detector de bordas verticais e laplaciano. Os coeficientes de cada filtro são armazenados em arrays unidimensionais que serão repassados ao construtor da matriz do filtro.

Esse trecho de código mostra o procedimento padrão para construção da matriz que será usada como máscara de filtragem. A variável mask recebe uma matriz de tamanho \$3 \times 3\$ em ponto flutuante (CV_32F) com valores iniciais iguais ao do array media que é repassado. Repare que o tipo da matriz precisa ser estabelecido em ponto flutuante, posto que as operações de cálculo contarão com a presença de números fracionários.

Em loop infinito, imagens coloridas são capturadas constantemente na matriz cap e convertidas em equivalentes em tons de cinza usando a função cvtColor(). A imagem então é invertida horizontalmente com a função flip(). A inversão é feita apenas para fins de tornar a interação com o programa exemplo semelhante à de um espelho.

Este trecho é responsável pelo cálculo da filtragem espacial. Cada imagem em tom de cinza armazenada na variável framegray é convertida para outra equivalente com representação em ponto flutuante - frame32f. A conversão é necessária devido aos tipos de operação que serão realizados pela função filter2D(). Observe apenas que OpenCV replica os pixels na borda ('ao invés de preencher de zeros') durante o processo de filtragem.

A função filter2d() recebe então a matriz da imagem em ponto flutuante - frame32f - e produz a matriz frameFiltered, de acordo com o tipo do elemento da matriz de entrada - neste caso, CV_32F (ou float). O objeto Point(1,1) que é repassado como próximo argumento identifica a origem do sistema de coordenadas atribuído para a máscara que, neste caso, é o ponto central da matriz.

Caso a opção de módulo esteja selecionada, o cálculo é então procedido. A imagem filtrada é então convertida para tons de cinza para posterior exibição na tela.

O restante do código trata apenas da adaptação da matriz mask conforme o filtro escolhido pelo usuário para ser aplicado à imagem capturada.

A operação de cálculo da Transformada Discreta de Fourier em OpenCV pode ser realizada pelo seguinte conjunto de passos:

A imagem a ser processada é lida do disco e armazenada na variável image em formato de escala de cinza. Caso a imagem não seja lida com sucesso, o programa finaliza, apresentando uma mensagem de erro. A conversão para escala de cinza é necessária pois o programa foi desenvolvido para processar imagens em escala de cinza.

A função getOptimalDFTSize() identifica os melhores valores com base no tamanho fornecido para acelerar o processo de cálculo da DFT com base em algum algoritmo otimizado. Segundo a documentação do OpenCV, valores múltiplos de dois, três e cinco produzem resultados melhores. Os valores de tamanho ideal para a quantidade de linhas e colunas da imagem são armazenados nas variáveis dft_M e dft_N, respectivamente.

A função copyMakeBorder() cria uma versão da imagem fornecida com uma borda preenchida com zeros e ajustada ao tamanho ótimo para cálculo da DFT, conforme indicado pelo uso da função getOptimalDFTSize(). Para uma imagem image fornecida, a saída é produzida na imagem padded. Caso a imagem fornecida já possua dimensões apropriadas, a imagem de saída será igual à de entrada.

Esse trecho de código prepara a matriz complexa que será fornecida à função de cálculo do dft. Ambas são enfileiradas em um vetor de matrizes e a função merge() se encarrega de produzir a matriz complexa a partir das matrizes presentes no vetor planos.

O cálculo do DFT é realizado. Perceba que tanto a matriz de entrada quanto a de saída passadas como parâmetro podem ser a mesma.

Finalizado o cálculo da DFT, a função swapQuadrants() realiza a troca de quadrantes. Para melhor visualização do espectro de magnitude da transformada, é necessário que o sinal transformado seja deslocado de modo que a origem do sinal fique posicionada no centro da imagem, como ilustra a Figura 24.

A operação de troca de quadrantes realizada pela função swapQuadrants(). Ela recebe a referência para a matriz que contém a imagem transformada e troca seus quadrantes. Caso a imagem possua tamanho ímpar, ela é diminuída de tamanho em um pixel para que a troca dos quadrantes seja feita usando tamanhos imagens de iguais. Normalmente, trata-se a imagem que será submetida ao cálculo da DFT para que possua dimensões de ordem par, de sorte que essa linha não deverá alterar o tamanho das imagens usualmente fornecidas.

Terminada a troca de quadrantes, a imagem transformada é separada em suas componentes real e imaginária com a função split(). As componentes são então armazenadas na forma de matrizes no vetor planos.

A função cartToPolar() calcula o espectro de magnitude e de fase a partir das componentes real e imaginária da imagem transformada. Esta função foi escolhida especificamente para o exemplo porque já consegue obter os dois espectros ao mesmo tempo. Entretanto, perceba que logo após a normalização do espectro de fase, há uma chamada à função magnitude().

A função magnitude() calcula somente o espectro de magnitude a partir das componentes real e imaginária e, caso o espectro de fase não seja necessário para a análise do sinal transformado, esta é a função mais indicada para o cálculo do espectro de magnitude.

Esse trecho de código serve para realizar a compressão de faixa dinâmica e normalização do espectro de magnitude na faixa \$0,1\$ para fins de exibição. A compressão de faixa dinâmica é logaritmica e, para evitar erros de cálculo nas situações em que algum dos elementos da matriz magn seja igual a zero, é somado um valor constante a todos os elementos da matriz igual a um.

O trecho de código a seguir mostra a chamada da função de criação do filtro de frequência e a aplicação do filtro na imagem.

A função makeFilter() é responsável por criar o filtro de frequência. Ela recebe a imagem transformada e a matriz que será preenchida com o filtro de frequência é retornada no segundo parâmetro, que é passado na forma de uma referência.

A última parte do código mostra como recuperar a imagem filtrada. A transformada de Fourier inversa é calculada com a função idft(). A função split() divide a imagem multicanal em duas matrizes, uma para a parte real (planos[0]) e outra para a parte imaginária (planos[1]).

A imagem filtrada é obtida selecionando a região de interesse da imagem correspondente ao tamanho original da imagem de entrada usando um objeto da classe Rect para esse fim. A imagem filtrada é armazenada na variável result e posteriormente normalizada para exibição.

O algoritmo de Canny de fato é útil para diversas aplicações em processamento de imagens e visão artificial. Informações de bordas podem ser usadas para melhorar algoritmos de segmentação automática ou para encontrar objetos em cenas e pontos de interesse.

Entretanto, nesta lição, a proposta de uso do algoritmo é para desenvolver arte digital. A ideia é usar uma imagem de referência para criar uma nova imagem usando efeitos artísticos pontilhistas.

O pontilhismo é uma técnica de desenho impressionista onde o quadro é pintado usando apenas pontos. Um dos artistas pioneiros nessa técnica foi George Seurat . Vários dos seus trabalhos podem ser vistos online no site georgesseurat.org.

Simular no computador um efeito pontilhista não é muito trabalhoso. Uma estratégia simples é utilizar uma imagem de referência e criar uma outra imagem desenhada usando pequenos círculos. Em suma, percorre-se a imagem de referência e para cada pixel, desenha-se um círculo com a mesma cor na posição correspondente na imagem pontilhista.

Efeitos pontilhistas interessantes podem ser criados com variantes simples dessa técnica. Exemplo: pular sequências de pixels na imagem de referência para dar a impressão de que os pontos estão separados na tela - isso é bastante comum na arte pontilhista. Outro efeito interessante é realizar deslocamentos aleatórios nos centros dos círculos, para que a imagem gerada permaneca menos artificial. Finalmente, é razoável percorrer a matriz de referência usando uma sequência aleatória, principalmente quando a técnica pontilhista realiza a sobreposição de círculos.

Um exemplo de imagem pontilhista é mostrada na Figura 28.

O programa que gerou essa imagem é mostrado na Listagem 13.